WeFair: Fidelity-Aware Alignment from Human Feedback for Personalized Query Rewriting in Short-Video Search
WeFair：短视频搜索个性化查询改写的保真度感知对齐
🧭 个性化查询改写 · 保真度感知 RLHF ★ 深度解读
Weixin Group, Tencent · East China Normal University
用保真度分级的 SFT-DPO-GRPO 对齐人类反馈，训练紧凑个性化 query 改写模型并显著缓解意图漂移
📌 工作参考价值（4 点）
- 对于 query 改写/生成式推荐，建议把真实 session 中相邻 query 改写对和“不需要改写”保留样本同时纳入 SFT，并用 LLM 多裁判筛选，能显著提升改写决策准确率和降低 intent drift。
- 三阶段对齐可复用：SFT 课程用低精度宽覆盖数据打底，DPO 用点击/消费偏好做相对排序，最后 GRPO 奖励只给与真实用户改写或保留完全匹配的目标；避免使用相似度/retrieval/RM 等辅助奖励，它们会降低 advantage purity 和最终准确率。
- 线上部署采用 direct 输出 + 用首个 token 的保留概率做 gating，决定是否只用原 query 做检索排序；这是低成本集成改写的方式。2B 模型 7.6 tokens、0.316s 足够支撑百万级日请求。
- 若要评估改写质量，可定义 Consistent Recall/Precision、Intent Drift Rate、Hallucination Rate 和 Preservation Decision Recall，结合 LLM judge 与人工标注；该指标组合更适合搜索会话中的意图保真评估。